Trước năm 1944, pháo tự hành chống tăng chủ yếu của Hồng quân là SU-85, trang bị pháo chính 85mm L/52 có thể đối phó tốt với xe tăng Panzer IV của Đức. Tuy nhiên, mùa hè năm 1943, Đức bắt đầu sản xuất số lượng lớn các loại xe tăng hạng nặng như Panther (Con Báo) và Tiger I (Con Cọp), đây là những loại xe tăng có vỏ giáp trước dày vượt trội so với Panzer IV tiền nhiệm. Pháo 85mm của SU-85 chỉ có thể bắn xuyên giáp trước hai loại xe này ở cự ly 500 - 1.000 mét, không đủ xa để chiến đấu hiệu quả. SU-100 được phát triển vào năm 1944 như là một bản nâng cấp của SU-85.

SU-100 được thiết kế và xây dựng tại Nhà máy máy móc hạng nặng Ural (Уральский Завод Тяжелого Машиностроения, còn mang một tên khác là Uralmash) tại Yekaterinburg. SU-100 được phát triển dưới sự giám sát của Lev Izrailevich Gorlitsky, người đứng đầu các nhóm thiết kế pháo tự hành của Liên Xô lúc đó. Việc phát triển bắt đầu từ tháng 2 năm 1944 và mẫu thử nghiệm đầu tiên (mang tên "kế hoạch 138") được chế tạo vào tháng 3. Giống như SU-85, nó dùng thân xe của loại Xe tăng T-34.

Sau nhiều cuộc kiểm tra gắt gao với nhiều mẫu pháo 100 ly thì khẩu D-10S 100mm L/53 đã được chọn. Khẩu pháo này được phát triển bởi Phòng thiết kế Pháo của Nhà máy số 9 do Fyodor Fyodorovich Petrov đứng đầu, nó có sức xuyên mạnh hơn khoảng 40% so với pháo 85mm L/52 và tương đương với pháo 88mm L/71 trên xe tăng Tiger II của Đức, ngoài ra khi bắn đạn nổ chống công sự và bộ binh thì pháo 100mm mạnh hơn 50% so với 88mm L/71 (về sau khẩu pháo 100mm cũng được lắp đặt trên các xe tăng sau thế chiến 2 là T-54 và T-55).

Thân xe của SU-100 cũng được cải tiến nhiều so với tiền nhiệm SU-85: độ dày của giáp trước tăng từ 45 mm nghiêng 50 độ lên 75 mm nghiêng 50 độ (tương đương vỏ giáp 130 mm đặt thẳng đứng) để tăng khả năng chống chọi, đồng thời chỗ ngồi của xa trưởng được đặt ở một khoang nhỏ nằm ở cạnh sườn phía bên phải của thân xe; điều này kết hợp với cupola của xa trưởng đã khiến người xa trưởng làm việc hiệu quả hơn. Hai bộ thông gió đã được lắp đặt thay cho một bộ ở SU-85. Việc sản xuất đại trà SU-100 bắt đầu từ tháng 9 năm 1944.

Năm 1945, chi phí sản xuất mỗi chiếc SU-100 vào khoảng 176.000 rúp[1], không đắt hơn nhiều so với xe tăng T-34/85 (142.000 rúp).

SU-100 nhanh chóng chứng tỏ nó là một trong những pháo tự hành chống tăng tốt nhất của thế chiến thứ hai[cần dẫn nguồn]. Pháo chính 100mm khi dùng đạn BR-412B APBC có thể xuyên thủng vỏ giáp 125mm để thẳng góc với mặt đất ở khoảng cách 2 km (tương đương độ dày giáp trước của xe tăng hạng nặng Tiger I), và có thể xuyên thủng vỏ giáp dày 85mm nghiêng 55 độ của xe tăng Panther ở khoảng cách 1,5 km. Khi dùng đạn xuyên giáp cao cấp BR-412P APCR, SU-100 có thể bắn xuyên giáp trước thân xe của Tiger II (Vua Cọp) ở cự ly 500 mét, hoặc xuyên được giáp trước tháp pháo ở cự ly 1.000 mét. Việc này có nghĩa là SU-100 có thể tiêu diệt bất kỳ xe tăng Đức nào vào thời điểm đó chỉ bằng 1 phát bắn trúng đích, điều này khiến nó có cái biệt danh "Pizdets vsemu", tạm dịch là "sự kết thúc của mọi thứ"[2].